![\"Open](\"https://colab.research.google.com/assets/colab-badge.svg\"){kind=icon}
"
]
},
{
"cell_type": "markdown",
"source": [
""
],
"metadata": {
"id": "qRPdGToQkzZY"
}
},
{
"cell_type": "markdown",
"source": [
"# Курс по Машинному обучению"
],
"metadata": {
"id": "-fvzRMBllQtI"
}
},
{
"cell_type": "markdown",
"source": [
"# Домашнее задание 1. Pandas + Plotly (20 баллов + 2 бонус)"
],
"metadata": {
"id": "X0DEY_ZZRwlc"
}
},
{
"cell_type": "markdown",
"source": [
"## О сроках\n",
"\n",
"Дата выдачи: 10.09.2023\n",
"\n",
"Мягкий дедлайн: 18.09.2023 23:59MSK\n",
"\n",
"Жесткий дедлайн со штрафом: 28.09.2023 23:59MSK (10 дней от мягкого дедлайна)\n",
"\n",
"За каждый день просрочки снимается 5% от макс. балла (1 балл)"
],
"metadata": {
"id": "Zw2kHG39R5h7"
}
},
{
"cell_type": "markdown",
"source": [
"------------------------"
],
"metadata": {
"id": "2u_FQNCQGbca"
}
},
{
"cell_type": "markdown",
"source": [
"# Важно! О формате сдачи\n",
"\n",
"* **При решении ноутбука используйте данный шаблон. Не нужно удалять текстовые ячейки c разметкой частей ноутбука и формулировками заданий. Добавлять свои ячейки, при необходимости, конечно можно**\n",
"* **Везде, где в формулровке задания есть какой-либо вопрос (или просьба вывода), необходимо прописать ответ в ячейку (код или markdown).**\n",
"* **Наличие кода решения обязательно. Письменные ответы на вопросы без сопутствующего кода оцениваются в 0 баллов.**\n",
"* **Если в ячейке написана фраза \"Вывод\"/\"Ответ на вопрос\"/\"Ваш текст\" и пр., то ожидается ответ в виде текста (можете добавить ячейки с кодом, если считаете это необходимым, но это необязательно).**\n",
"* **Если в ячейке написано \"Your code here\"/\"Ваш код\" и пр., то ожидается ответ в виде кода (можете добавить больше ячеек с кодом, если считаете это необходимым, но это необязательно).**\n",
"* **Если есть и ячейка с фразой \"Вывод\" и пр., и ячейка с фразой \"Your code here\" и пр., то в ответе ожидается и код, и текст)**"
],
"metadata": {
"id": "45ZF7GkrMxgI"
}
},
{
"cell_type": "markdown",
"source": [
"----------------------------"
],
"metadata": {
"id": "W09nY1nzNKc9"
}
},
{
"cell_type": "markdown",
"source": [
"## О задании\n",
"\n",
"Задание состоит из задач, посвященных работе с табличными данными с помощью библиотеки `pandas` и визуализации с помощью `pyplot`. Баллы даются за выполнение отдельных пунктов. Задачи рекомендуется решать в том порядке, в котором они даны в задании.\n",
"\n",
"Задание направлено на освоение `colab notebook` (будет использоваться в дальнейших заданиях), библиотек `pandas` и `pyplot`, а также на развитие навыков первоначального анализа данных.\n",
"\n",
"Каждая из задач имеет определенную «стоимость» (указана в скобках около задачи)"
],
"metadata": {
"id": "z1DFFMJbUs93"
}
},
{
"cell_type": "markdown",
"source": [
"-------------"
],
"metadata": {
"id": "kSSSUTrWNL84"
}
},
{
"cell_type": "markdown",
"source": [
"## Задание"
],
"metadata": {
"id": "w0TY5vJ5V1D4"
}
},
{
"cell_type": "markdown",
"source": [
"Мы будем работать с данными из [датасета](https://www.kaggle.com/datasets/mrdaniilak/russia-real-estate-20182021), в котором содержится информация об объектах недвижимости в России с их стоимостью за 2018-2021 гг.:"
],
"metadata": {
"id": "2kW0yOIhk1D3"
}
},
{
"cell_type": "markdown",
"source": [
"* Цена — Цена в рублях РФ (*числовое*)\n",
"* Дата — дата публикации объявления (*временное*)\n",
"* Время — время публикаци объявления (*временное*)\n",
"* Коорданата x — значение координаты (широта) (*числовое*)\n",
"* Коорданата y — значение координаты (долгота) (*числовое*)\n",
"* Номер — код региона РФ (*категориальное*)\n",
"* Тип здания — тип сооружения, в котором находится квартира (*категориальное*)\n",
"* Этаж — номер этажа, на котором находится квартира (*категориальное* или *числовое*?)\n",
"* Число этажей в доме — общее количество этажей в здании (*категориальное* или *числовое*?)\n",
"* Комнаты — количество комнат в квартире, -1 означает студии с открытой планировкой (*категориальное* или *числовое*?)\n",
"* Площадь — общая площадь квартиры в кв. метрах (*числовое*)\n",
"* Площадь кухни — площадь кухни в кв. метрах (*числовое*)\n",
"* Тип квартиры — тип квартиры, где 1 означает вторичный рынок недвижимости, 11 - новостройка (*категориальное*)"
],
"metadata": {
"id": "n_cjioKCk4Ql"
}
},
{
"cell_type": "markdown",
"source": [
"**0. Загружаем данные**"
],
"metadata": {
"id": "EFgIq0P3dBta"
}
},
{
"cell_type": "code",
"source": [
"import pandas as pd\n",
"import plotly.express as px\n",
"import matplotlib.pyplot as plt"
],
"metadata": {
"id": "RWYLg7-BGoCk"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "code",
"source": [
"! gdown 13wGEWvhO4iurSN8Rddap4AHo1pAAljMl"
],
"metadata": {
"id": "e-ogzUOkdK82",
"colab": {
"base_uri": "https://localhost:8080/"
},
"outputId": "39d41e45-7889-44aa-d22d-61a8e8b5bdcd"
},
"execution_count": null,
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"Downloading...\n",
"From: https://drive.google.com/uc?id=13wGEWvhO4iurSN8Rddap4AHo1pAAljMl\n",
"To: /content/rus_real_estate.csv\n",
"100% 408M/408M [00:04<00:00, 91.7MB/s]\n"
]
}
]
},
{
"cell_type": "code",
"source": [
" # Прописываем путь к папке с файлом\n",
"path = '/content/rus_real_estate.csv'"
],
"metadata": {
"id": "-yjPQWledRdK"
},
"execution_count": null,
"outputs": []
},
{
"cell_type": "markdown",
"source": [
"**1. [1 балл] Откройте файл с таблицей (не забудьте про её формат). Выведите случайные 20 строк.**"
],
"metadata": {
"id": "cG9PsC8tkRVU"
}
},
{
"cell_type": "markdown",
"source": [
"+очистка данных"
],
"metadata": {
"id": "CFAmO_po-LvM"
}
},
{
"cell_type": "code",
"source": [
"df_raw = pd.read_csv(path)\n",
"df = df_raw.query(\"price > 0 & rooms > 0\")\n",
"print(f\"Filtred df size: {round(df.size/df_raw.size, 2)}%\")\n",
"\n",
"df.sample(20)"
],
"metadata": {
"id": "aly_zTtukpvb",
"colab": {
"base_uri": "https://localhost:8080/",
"height": 694
},
"outputId": "83d70e8e-8baa-4b55-c391-714df8b1dd17"
},
"execution_count": null,
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"Filtred df size: 0.94%\n"
]
},
{
"output_type": "execute_result",
"data": {
"text/plain": [
" price date time geo_lat geo_lon region \\\n",
"1988062 4100000 2019-06-13 16:23:41 54.995439 82.894450 9654 \n",
"2568974 2370000 2019-09-14 11:53:56 45.088326 39.003198 2843 \n",
"267583 1900000 2018-10-14 15:15:39 57.999434 56.285390 5520 \n",
"1417945 4650000 2019-03-21 18:40:49 53.206639 50.123465 3106 \n",
"1132568 2150000 2019-02-12 14:20:03 57.685242 39.774234 2604 \n",
"3654402 1750000 2020-04-24 14:09:06 54.941147 82.962292 9654 \n",
"2806604 5455000 2019-10-31 02:18:29 59.824118 30.344210 2661 \n",
"2702397 850000 2019-10-06 09:57:25 54.428782 56.324374 2722 \n",
"2757294 17250000 2019-10-17 17:42:28 55.753960 37.620393 3 \n",
"147334 950000 2018-09-26 21:14:49 56.143894 44.205489 2871 \n",
"4978532 4290000 2021-01-30 15:39:50 55.794358 49.111497 2922 \n",
"4261465 6650000 2020-08-10 13:33:44 57.122838 65.567506 3991 \n",
"3785382 1800000 2020-05-26 11:33:59 56.124768 47.506534 3019 \n",
"2035213 1750000 2019-06-21 06:21:21 54.946526 82.973030 9654 \n",
"4948313 12200000 2021-01-21 13:08:21 55.708639 37.379054 81 \n",
"4605910 5200000 2020-10-24 15:34:49 59.939084 30.315879 2661 \n",
"4205679 2750000 2020-08-02 17:32:01 55.753914 52.411295 2922 \n",
"3748455 3000000 2020-05-18 09:44:40 56.810516 60.514756 6171 \n",
"2500726 3800000 2019-09-03 07:23:01 54.862280 82.967730 9654 \n",
"5468601 3580000 2021-05-01 08:12:16 57.100360 65.624585 3991 \n",
"\n",
" building_type level levels rooms area kitchen_area object_type \n",
"1988062 2 9 17 2 53.70 12.2 1 \n",
"2568974 2 2 18 1 45.00 11.0 1 \n",
"267583 3 4 5 1 30.10 6.0 1 \n",
"1417945 3 9 9 3 65.00 7.0 1 \n",
"1132568 1 4 5 2 44.90 6.5 1 \n",
"3654402 1 16 18 1 41.00 11.0 11 \n",
"2806604 2 7 17 1 45.20 14.3 1 \n",
"2702397 3 2 2 1 34.00 9.0 1 \n",
"2757294 2 8 19 3 96.50 16.9 11 \n",
"147334 3 4 5 1 21.00 6.0 1 \n",
"4978532 3 3 5 1 46.00 12.0 11 \n",
"4261465 3 6 9 3 98.40 13.5 1 \n",
"3785382 1 1 12 1 43.00 9.0 1 \n",
"2035213 1 2 10 1 41.36 16.0 11 \n",
"4948313 2 2 24 2 88.00 20.0 1 \n",
"4605910 2 19 20 1 40.00 12.8 11 \n",
"4205679 3 10 17 1 46.00 13.0 1 \n",
"3748455 2 7 25 1 41.00 11.0 1 \n",
"2500726 1 2 10 3 65.50 9.0 1 \n",
"5468601 2 1 15 1 46.00 16.0 1 "
],
"text/html": [
"\n",
" | \n", " | price | \n", "date | \n", "time | \n", "geo_lat | \n", "geo_lon | \n", "region | \n", "building_type | \n", "level | \n", "levels | \n", "rooms | \n", "area | \n", "kitchen_area | \n", "object_type | \n", "
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1988062 | \n", "4100000 | \n", "2019-06-13 | \n", "16:23:41 | \n", "54.995439 | \n", "82.894450 | \n", "9654 | \n", "2 | \n", "9 | \n", "17 | \n", "2 | \n", "53.70 | \n", "12.2 | \n", "1 | \n", "
| 2568974 | \n", "2370000 | \n", "2019-09-14 | \n", "11:53:56 | \n", "45.088326 | \n", "39.003198 | \n", "2843 | \n", "2 | \n", "2 | \n", "18 | \n", "1 | \n", "45.00 | \n", "11.0 | \n", "1 | \n", "
| 267583 | \n", "1900000 | \n", "2018-10-14 | \n", "15:15:39 | \n", "57.999434 | \n", "56.285390 | \n", "5520 | \n", "3 | \n", "4 | \n", "5 | \n", "1 | \n", "30.10 | \n", "6.0 | \n", "1 | \n", "
| 1417945 | \n", "4650000 | \n", "2019-03-21 | \n", "18:40:49 | \n", "53.206639 | \n", "50.123465 | \n", "3106 | \n", "3 | \n", "9 | \n", "9 | \n", "3 | \n", "65.00 | \n", "7.0 | \n", "1 | \n", "
| 1132568 | \n", "2150000 | \n", "2019-02-12 | \n", "14:20:03 | \n", "57.685242 | \n", "39.774234 | \n", "2604 | \n", "1 | \n", "4 | \n", "5 | \n", "2 | \n", "44.90 | \n", "6.5 | \n", "1 | \n", "
| 3654402 | \n", "1750000 | \n", "2020-04-24 | \n", "14:09:06 | \n", "54.941147 | \n", "82.962292 | \n", "9654 | \n", "1 | \n", "16 | \n", "18 | \n", "1 | \n", "41.00 | \n", "11.0 | \n", "11 | \n", "
| 2806604 | \n", "5455000 | \n", "2019-10-31 | \n", "02:18:29 | \n", "59.824118 | \n", "30.344210 | \n", "2661 | \n", "2 | \n", "7 | \n", "17 | \n", "1 | \n", "45.20 | \n", "14.3 | \n", "1 | \n", "
| 2702397 | \n", "850000 | \n", "2019-10-06 | \n", "09:57:25 | \n", "54.428782 | \n", "56.324374 | \n", "2722 | \n", "3 | \n", "2 | \n", "2 | \n", "1 | \n", "34.00 | \n", "9.0 | \n", "1 | \n", "
| 2757294 | \n", "17250000 | \n", "2019-10-17 | \n", "17:42:28 | \n", "55.753960 | \n", "37.620393 | \n", "3 | \n", "2 | \n", "8 | \n", "19 | \n", "3 | \n", "96.50 | \n", "16.9 | \n", "11 | \n", "
| 147334 | \n", "950000 | \n", "2018-09-26 | \n", "21:14:49 | \n", "56.143894 | \n", "44.205489 | \n", "2871 | \n", "3 | \n", "4 | \n", "5 | \n", "1 | \n", "21.00 | \n", "6.0 | \n", "1 | \n", "
| 4978532 | \n", "4290000 | \n", "2021-01-30 | \n", "15:39:50 | \n", "55.794358 | \n", "49.111497 | \n", "2922 | \n", "3 | \n", "3 | \n", "5 | \n", "1 | \n", "46.00 | \n", "12.0 | \n", "11 | \n", "
| 4261465 | \n", "6650000 | \n", "2020-08-10 | \n", "13:33:44 | \n", "57.122838 | \n", "65.567506 | \n", "3991 | \n", "3 | \n", "6 | \n", "9 | \n", "3 | \n", "98.40 | \n", "13.5 | \n", "1 | \n", "
| 3785382 | \n", "1800000 | \n", "2020-05-26 | \n", "11:33:59 | \n", "56.124768 | \n", "47.506534 | \n", "3019 | \n", "1 | \n", "1 | \n", "12 | \n", "1 | \n", "43.00 | \n", "9.0 | \n", "1 | \n", "
| 2035213 | \n", "1750000 | \n", "2019-06-21 | \n", "06:21:21 | \n", "54.946526 | \n", "82.973030 | \n", "9654 | \n", "1 | \n", "2 | \n", "10 | \n", "1 | \n", "41.36 | \n", "16.0 | \n", "11 | \n", "
| 4948313 | \n", "12200000 | \n", "2021-01-21 | \n", "13:08:21 | \n", "55.708639 | \n", "37.379054 | \n", "81 | \n", "2 | \n", "2 | \n", "24 | \n", "2 | \n", "88.00 | \n", "20.0 | \n", "1 | \n", "
| 4605910 | \n", "5200000 | \n", "2020-10-24 | \n", "15:34:49 | \n", "59.939084 | \n", "30.315879 | \n", "2661 | \n", "2 | \n", "19 | \n", "20 | \n", "1 | \n", "40.00 | \n", "12.8 | \n", "11 | \n", "
| 4205679 | \n", "2750000 | \n", "2020-08-02 | \n", "17:32:01 | \n", "55.753914 | \n", "52.411295 | \n", "2922 | \n", "3 | \n", "10 | \n", "17 | \n", "1 | \n", "46.00 | \n", "13.0 | \n", "1 | \n", "
| 3748455 | \n", "3000000 | \n", "2020-05-18 | \n", "09:44:40 | \n", "56.810516 | \n", "60.514756 | \n", "6171 | \n", "2 | \n", "7 | \n", "25 | \n", "1 | \n", "41.00 | \n", "11.0 | \n", "1 | \n", "
| 2500726 | \n", "3800000 | \n", "2019-09-03 | \n", "07:23:01 | \n", "54.862280 | \n", "82.967730 | \n", "9654 | \n", "1 | \n", "2 | \n", "10 | \n", "3 | \n", "65.50 | \n", "9.0 | \n", "1 | \n", "
| 5468601 | \n", "3580000 | \n", "2021-05-01 | \n", "08:12:16 | \n", "57.100360 | \n", "65.624585 | \n", "3991 | \n", "2 | \n", "1 | \n", "15 | \n", "1 | \n", "46.00 | \n", "16.0 | \n", "1 | \n", "
| \n", " | price | \n", "date | \n", "time | \n", "geo_lat | \n", "geo_lon | \n", "region | \n", "building_type | \n", "level | \n", "levels | \n", "rooms | \n", "area | \n", "kitchen_area | \n", "object_type | \n", "
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | \n", "6050000 | \n", "2018-02-19 | \n", "20:00:21 | \n", "59.805808 | \n", "30.376141 | \n", "2661 | \n", "1 | \n", "8 | \n", "10 | \n", "3 | \n", "82.6 | \n", "10.8 | \n", "1 | \n", "
| 7 | \n", "3600000 | \n", "2018-03-04 | \n", "20:52:38 | \n", "59.875526 | \n", "30.395457 | \n", "2661 | \n", "1 | \n", "2 | \n", "5 | \n", "1 | \n", "31.1 | \n", "6.0 | \n", "1 | \n", "
| 36 | \n", "3200000 | \n", "2018-04-10 | \n", "16:10:12 | \n", "59.827465 | \n", "30.201827 | \n", "2661 | \n", "1 | \n", "7 | \n", "9 | \n", "1 | \n", "31.0 | \n", "7.0 | \n", "1 | \n", "
| 47 | \n", "6500000 | \n", "2018-04-23 | \n", "11:47:58 | \n", "59.988334 | \n", "29.786928 | \n", "2661 | \n", "3 | \n", "3 | \n", "3 | \n", "3 | \n", "89.0 | \n", "10.0 | \n", "1 | \n", "
| 54 | \n", "6300000 | \n", "2018-04-28 | \n", "17:47:24 | \n", "59.911622 | \n", "30.284556 | \n", "2661 | \n", "3 | \n", "5 | \n", "5 | \n", "2 | \n", "99.9 | \n", "14.5 | \n", "1 | \n", "